Modelli digitali della 
volta con le decorazioni 
attribuite a Alessandro 
Araldi presso la Camera 
di San Paolo a Parma. 
Sintesi del flusso di lavoro 
qui proposto (da sinistra 
verso destra: nuvola 

di punti laser scanner, 
modello mesh, ortofoto 
della volta). 


43° Convegno Internazionale 
dei Docenti delle Discipline della Rappresentazione 
Congresso della Unione Italiana per il Disegno - Atti 2022 


Tecniche integrate di rilievo 
fotogrammetrico e TLS 

per la documentazione 

di architetture dipinte 


Andrea Zerbi 
Sandra Mikolajewska 


Abstract 


Oggi la digitalizzazione svolge un ruolo fondamentale nella tutela, conservazione e valorizzazione dei 
beni culturali. Relativamente all'architettura monumentale storica tale operazione passa necessaria- 
mente attraverso la realizzazione di accurati rilievi tridimensionali. Nonostante sia ormai opinione 
comune che un rilievo basato sull'utilizzo congiunto di tecniche image-based e tecniche range-based 
sia fondamentale, oggi tale integrazione non può ancora considerarsi completa dal momento che, 
nella maggior parte dei casi, i dati raccolti utilizzando le due tecniche vengono perlopiù processati 
separatamente e poi uniti in un unico sistema di riferimento utilizzando coordinate note. Il presente 
contributo illustra un metodo di lavoro in cui dati di rillevo laser scanner e dati desunti da rilievi 
fotogrammetrici sono utilizzati simultaneamente al fine di realizzare un unico modello digitale 3D in 
cui la geometria sia ricavata dai dati laser scanner, mentre la resa cromatica delle superfici sia desunta 
dalle immagini fotografiche. Le procedure descritte si rivelano particolarmente efficaci soprattutto nel 
caso di architetture caratterizzate dalla presenza di importanti apparati decorativi pittorici. Per questo 
motivo le prime sperimentazioni hanno riguardato il rilievo della Camera di San Paolo a Parma, nota 
soprattutto per la camera della badessa, affrescata da Correggio nel 1519. 
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Introduzione 


Soprattutto a partire dall'inizio del XXI secolo, grazie anche ai sempre più veloci e co- 
stanti sviluppi delle tecnologie informatiche, la digitalizzazione del patrimonio culturale ha 
assunto sempre maggiore importanza, tanto da essere inserita all'interno di numerosi piani 
promossi dall'Unione Europea e da entrare a fare parte delle agende politiche di diverse 
nazioni [Furopean Commission 2018; Community Research and Development Information 
Service, 202 |]. E interessante notare come la digitalizzazione, in qualsiasi sua forma, non solo 
sia reputata essenziale per la tutela, la conservazione, la comunicazione e la valorizzazione 
del patrimonio culturale, ma come i suoi prodotti siano entrati essi stessi a fare parte del 
patrimonio culturale. 

Nello specifico ambito dell'architettura monumentale storica, la digitalizzazione deve neces- 
sariamente passare attraverso la realizzazione di accurati rilievi tridimensionali tramite i quali 
generare modelli 3D di supporto alle più diverse attività: dal restauro alla divulgazione, dalla 
gestione alla valorizzazione e via dicendo. A tale proposito è ormai opinione comune che 
un'operazione di rilievo corretta debba, nella maggior parte dei casi, basarsi sull'integrazione 
di diverse tecniche di rilievo utilizzate in modo congiunto. Questo appare particolarmente 
evidente nel Momento in cui sia necessario realizzare modelli digitali relativi a edifici carat- 
terizzati dalla presenza di apparati decorativi plastici e pittorici particolarmente importanti, 
per i quali risulti indispensabili fornire informazioni dettagliate sia relativamente alla geome- 


+ 


tria e alla consistenza dimensionale delle diverse parti, sia relativamente agli aspetti croma- 
tici. In questi casi, un rilievo basato sull'utilizzo congiunto di tecniche image-based e tecniche 
range-based risulta fondamentale. 
Nonostante gli sviluppi tecnologici a supporto di entrambe le tecniche abbiano cercato 
di rendere fotogrammetria e tecnologia laser scanner il più possibile indipendenti ed au- 
tonome, il loro utilizzo integrato consente oggi di ottenere i risultati più soddisfacenti [Re- 
mondino 2011; Luhmann et al. 2020; Fiorillo et al. 2021]. D'altro canto, non è possibile non 
sottolineare come tale integrazione non possa ancora considerarsi completa. Nella maggior 
parte delle esperienze condotte anche in tempi recenti, infatti, i dati raccolti utilizzando le 
due tecniche vengono perlopiù processati separatamente e poi uniti in un unico sistema di 
riferimento utilizzando coordinate note ricavate dal rilievo laser scanner oppure da rilievi 
topografici di supporto [Valente et al. 2019]. 
| presente contributo illustra un metodo di lavoro in cui dati di rilievo laser scanner e dati 
desunti da rilievi fotogrammetrici sono utilizzati simultaneamente già dalle prime fasi di pro- 
cessamento, sfruttando gli ultimi sviluppi del software Agisoft Metashape, che permette di 
importare dati laser scanner convertiti in immagini sferiche e di elaborarli simultaneamente 
con immagini frame. L'obiettivo è quello di operare direttamente su un unico modello digi- 


tale 3D in cui la geometria sia ricavata dai dati laser scanner mentre la resa cromatica delle 
superfici sia desunta dalle immagini fotografiche. 


Il caso studio: la Camera di San Paolo a Parma 


Il metodo illustrato nel presente contributo prende le mosse da un rilievo realizzato per for- 
nire il supporto indispensabile al restauro di tutte le superfici verticali e voltate del comples- 
so museale noto come “Camera di San Paolo” a Parma (fig.01). La “Camera di San Paolo" è 
oggi un itinerario museale collocato all'interno dell'antico monastero benedettino femminile 
di San Paolo ed è costituito da nove ambienti. Ad esclusione di quello che una volta fungeva 
da refettorio del monastero, tutte le altre stanze facevano parte dell'appartamento privato 
della badessa Giovanna da Piacenza. Solo la zona di accesso al percorso è stata modificata 
nel corso del XIX secolo per volere di Maria Luigia. Ciò che rende straordinario l'itinerario 
museale è la presenza di un gioiello dell'arte rinascimentale italiana, ossia la cosiddetta ca- 
mera della badessa, affrescata nel 1519 da Antonio Allegri, detto il Correggio [Fadda 2018]. 
L'ambiente, a pianta quasi quadrata, è coperto da una volta a ombrello a 16 spicchi inte- 
ramente decorata con un finto pergolato costituito da canne di bambù, rami intrecciati e 
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Fig. 01. Pianta del 

piano terra del percorso 
museale (realizzata a 
quota +1.70 m). Scala 
originale dell'elaborato 
1:50. Elaborazione grafica 
degli autori. 


Fig. 02. Particolari degli 
affreschi realizzati dal 
Correggio (fotografia di 
sinistra) e quelli attribu- 
iti a Araldi (fotografia di 
destra). Fotografie degli 
autori. 
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festoni di fiori e frutti in cui trovano posto 16 finte aperture ovali da cui si affacciano gruppi 
di putti. Al di sotto, lungo le pareti verticali, si trovano altrettante lunette monocrome che 
simulano nicchie contenenti statue di figure mitologiche e un fregio caratterizzato dalla 
presenza di finti capitelli costituiti ciascuno da due teste di ariete contrapposte che reggono 
teli, piatti, vasi, stoviglie e altri oggetti (fig. 02). Sulla cappa del camino trova invece posto la 
figura della dea Diana su un cocchio, evidente richiamo alla badessa Giovanna, committente 
dell'opera. 

Adiacente alla camera della badessa si trova un altro ambiente di grande valore artistico, 
probabilmente affrescato da Alessandro Araldi nel 1514. Qui, la volta a padiglione lunettata 
presenta una straordinaria decorazione a grottesca al cui centro si inserisce una finta balau- 
stra aperta sul cielo azzurro, dalla quale si affacciano putti musicanti. 

Dal 21 aprile del 2021, il Comune di Parma, proprietario del bene, ha incaricato una ditta 
specializzata di procedere al restauro dell'intero percorso museale e della Cella di Santa Ca- 
terina. A tal fine è parsa fondamentale la realizzazione di un'accurata campagna di rilievi, re- 
putati essenziali sia per conoscere l'esatta conformazione dei luoghi, sia per poter sviluppare 
il progetto di restauro su elaborati attendibili. A tale proposito le richieste riguardavano la 
possibilità di avere a disposizione piante e sezioni dell'intero itinerario museale in scala 1:50, 
nonché le ortofoto in scala 1:50 di tutte le pareti verticali e di tutte le coperture voltate. 
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Il rilievo integrato 


AI fine di poter rispondere alle specifiche richieste della committenza, si è deciso di proce- 
dere alla realizzazione di un rilievo integrato (svolto nel mese di giugno del 2021) basato 
sull'utilizzo di tecniche fotogrammetriche e laser scanner Mentre quest'ultimo risulta infatti 
particolarmente efficace per il rilievo di spazi interni caratterizzati da una distribuzione 
piuttosto articolata, il rilievo fotogrammetrico garantisce una maggiore accuratezza per ciò 
che concerne la restituzione dei dati cromatici e radiometrici. Per la realizzazione del rilievo 
laser scanner è stato utilizzato uno scanner laser Leica RTC360 dotato di una camera HDR 
da 36 Mpixel. Complessivamente sono state realizzate 41 scansioni a partire dal chiostro 
confinante con il percorso museale. Per ogni ambiente interno sono stati individuati due 
o tre punti di stazione a seconda della complessità e della ricchezza dell'apparato deco- 
rativo, prestando particolare attenzione alla massima riduzione delle zone d'ombra. Date 
le dimensioni piuttosto ridotte delle stanze e il numero di scansioni effettuate in ognuna 
di esse, si è stabilito che una risoluzione pari a 6 mm a 10 m di distanza fosse in grado di 
garantire risultati adeguati. Ulteriori stazioni sono state collocate nelle zone di passaggio fra 
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un ambiente e l'altro in modo tale da garantire un'adeguata registrazione delle nuvole di 
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punti. Sfruttando la camera integrata nel laser scanner, per ogni scansione sono state acqui- 
site 36 | immagini con risoluzione pari a 4000x3000 pixel, che lo strumento restituisce sotto 
forma di immagini sferiche. AI termine delle operazioni di campagna, attraverso il software 
dedicato Leica Cyclone, i dati sono stati registrati in un unico sistema di riferimento al fine 
di ottenere un'unica nuvola di punti dell'intero complesso (fig. 03). Contestualmente sono 
state esportate le immagini equirettangolari acquisite dallo strumento (fig. 04). 
Parallelamente al rilievo laser scanner è stato realizzato un rilievo fotogrammetrico utilizzan- 
do una fotocamera full-frame Nikon D3X DSLR in grado di scattare immagini con risoluzio- 
ne pari a 6048x4032 pixel, equipaggiata con obiettivi da 35 mm o 24 mm a seconda della 
dimensione degli ambienti da rilevare. Al fine di garantire la maggiore uniformità possibile 
dal punto di vista radiometrico, tutte le immagini sono state scattate in condizioni di luce 
artificiale usando una carta di calibrazione del colore, avendo cura di posizionare la camera 
su un treppiede ed utilizzando un telecomando di scatto remoto. Per ogni singola parete 
verticale di ogni singolo ambiente costituente il percorso espositivo sono state effettuate 


tre strisciate, unite da ulteriori scatti obliqui in corrispondenza degli angoli. 


Fig. 03. Nuvola di punti 
dell'intero percor- 

so museale proveniente 
dal rilievo laser scanner. 
Elaborazione grafica degli 
autori. 
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Figg. 04, 05 - Immagini 
equirettangolari e relative 
mappe di profondità 
derivanti dalle scansioni 
laser effettuate nella stan- 
za affrescata da Araldi. 
Elaborazione degli autori. 


Per tutte le volte sono invece state realizzate due strisciate a diverse altezze, anche in 
questo caso con l'aggiunta di ulteriori immagini oblique. A titolo esemplificativo, in ognuna 
delle due stanze più preziose del complesso (quella attribuita a Araldi e quella affrescata dal 
Correggio) sono stati effettuati circa | 70 scatti. 


Il metodo di lavoro e l'elaborazione dei dati 


La nuvola di punti ricavata dal rilievo laser scanner, già registrata, è stata inizialmente scompo- 
sta in diverse parti in modo tale da poter operare separatamente su ogni stanza con file di 
dimensioni più ridotte. Ogni partizione è stata quindi esportata in formato .E57 e importata 
all'interno del software Metashape. Le ultime versioni del programma sono in grado di ese- 
guire un pre-processamento in cui ogni singola scansione viene convertita in una immagine 
equirettangolare (formato .tif), in cui a ogni pixel corrisponde un punto della scansione. 
Una volta importate, quindi, le nuvole di punti sono state trasformate in panorami sferici RGB 
con relative mappe di profondità e parametri di orientamento esterno (posizione dei centri 
di presa e rotazioni) noti e derivati direttamente dal rilievo laser scanner (fig. 05). 

Dopo aver svolto questa operazione, che ha permesso di avere, all'interno dell'ambiente di 
lavoro fotogrammetrico, i dati derivanti dal rilievo laser scanner, si è proceduto al caricamento 
delle immagini frame che, naturalmente, risultano prive di parametri di orientamento noto. 
Tali immagini sono quindi state sottoposte ad un normale processo di orientamento con- 
giuntamente alle immagini equirettangolari relative ad ogni singola scansione. In questa fase 
l'orientamento delle immagini sferiche è stato mantenuto fisso al fine di vincolare l'orienta- 
mento di tutto il blocco e poter generare un unico blocco fotogrammetrico in cui il sistema 
di riferimento e la scala sono determinati direttamente dai parametri di orientamento ester 
no derivanti dal rilievo laser scanner. Il vantaggio di agire in questo modo è rappresentato 
dal fatto che è possibile operare senza la necessità di individuare preventivamente punti 
d'appoggio o co-registrare a posteriori i dati ottenuti dal rilievo TLS e quelli prodotti dalla fo- 
togrammetria. A questo punto, in un normale processo fotogrammetrico basato sull'utilizzo 
di Metashape, seguirebbe un processo di dense matching tra tutte le immagini componenti 
il blocco, al fine di ottenere una nuvola di punti che ricostruisca l'oggetto rilevato e che sia il 
supporto su cui basare la costruzione del modello mesh. 

Così facendo, però,si andrebbero ad annullare tutte le informazioni di profondità derivanti dai dati 
desuntidalrillevolaserscannerandandopotenzialmenteavariarelaprecisionedeldato geometrico. 
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Fig. 06. Particolari del 
modello mesh della 
camera della badessa 

(a sinistra: parete est, a 
destra: volta). Elaborazione 
grafica degli autori. 


Fig. 07. Confronto fra 

le ortofoto calcolate 
utilizzando le informazioni 
radiometriche provenienti 
dal laser scanner (a 
sinistra delle immagini) 

e quelle dal rilievo 
fotogrammetrico (a 
destra delle immagini). 
Elaborazione grafica degli 
autori. 
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Nel flusso di lavoro qui proposto si è quindi evitato di procedere in modo canonico 
attraverso la generazione di una nuvola di punti densa e si è invece proceduto andando 
a ricostruire il modello mesh utilizzando direttamente le mappe di profondità dei pano- 
rami. In questo modo è stato possibile generare una mesh in cui il dato geometrico è 
derivato interamente ed esclusivamente dai dati rilevati tramite laser scanner (fig. 06). 
Una volta ultimato il modello mesh è stato possibile procedere alla produzione delle 
ortofoto. Come già specificato, le immagini frame sono orientate coerentemente con 
le immagini equirettangolari. Grazie a questo, per la generazione delle ortofoto è stato 
possibile utilizzare solo ed esclusivamente le immagini frame, che consentono di restituire 
un dato radiometrico di qualità molto superiore rispetto a quello ottenibile utilizzando la 
fotocamera integrata del laser scanner (fig. 07). Al termine delle operazioni di restituzione 
sono state elaborate 42 ortofoto (una per ogni parete verticale, una per ogni soffitto 
e una per il pavimento della camera della badessa) con una risoluzione di | mm/pix. 
Tale risoluzione risulta molto superiore rispetto a quanto necessario per elaborati da 
riprodurre in scala 1:50, come richiesto dalla committenza. A tale proposito, le ortofoto 
sono state poi inserite all'interno dei tradizionali elaborati di rilievo rappresentati, in que- 
sto caso, da due piante (una a quota +1.70 m rispetto al pavimento della camera della 


badessa, rivolta verso il basso, e una a quota variabile, rivolta verso l'alto) e quattordici 
sezioni verticali (figg. 08, 09). 
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Fig. 08. Stralcio della 
pianta dei soffitti (rivolta 
verso l'alto). Scala origi- 
nale dell'elaborato 1:50. 
Elaborazione grafica degli 
autori. 


Fig. 09. Stralcio della 
sezione A2-A2. Scala 
originale dell'elaborato 
1:50. Elaborazione grafica 
degli autori. 
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Fig. 10. Validazione dei 
risultati al diminuire del 
numero di immagini fra- 
me utilizzate. L'immagine 
riassume le geometrie di 
blocco testate e la relati- 
va sovrapposizione delle 
immagini. Elaborazione 
grafica degli autori. 


Conclusioni 


Il metodo di lavoro qui illustrato presenta alcuni indiscutibili vantaggi. Innanzitutto, permette di otte- 
nere ortofoto caratterizzate da un livello di precisione del dato geometrico elevato poiché frutto 
del dato TLS e, contemporaneamente, dall'attendibilità del dato radiometrico ricavato invece dalle 
immagini frame. Inoltre, permette di orientare correttamente le immagini frame senza la necessità 
di posizionare preventivamente punti di appoggio; tale possibilità si dimostra particolarmente utile 
in tutti quei casi in cul, per i più diversi motivi, sia Impossibile collocare preventivamente target, con- 
sentendo altresì di velocizzare le operazioni di campagna. Per finire, un ulteriore vantaggio offerto 
dal metodo qui proposto è quello di poter ridurre il numero di immagini (fig. 10) che sarebbero 
normalmente richieste dal software per poter orientare le immagini e, soprattutto, per ottenere un 
modello mesh accurato. Quest'ultimo, infatti, viene direttamente ricavato dai dati TLS. 

Nonostante la sua apparente semplicità, le Modalità operative illustrate, al momento, non hanno 
ancora trovato numerose applicazioni. Il rilievo qui presentato è stato quindi anche una occasione 
per testare e validare la metodologia proposta [Bruno et al. 2022]. Limitatamente alla camera della 
badessa e a quella i cui affreschi sono attribuiti ad Araldi sono stati fatti test aggiuntivi, rispetto alle 
elaborazioni necessarie alla produzione degli elaborati richiesti dalla committenza. Tali test hanno 
permesso di verificare l'accuratezza dei risultati in confronto ad un approccio di co-registrazione 
tradizionale basato sull'uso di punti di appoggio e di testare la robustezza del metodo anche in 
condizioni operative differenti, ad esempio riducendo notevolmente il numero di immagini frame 
utilizzate. Tutte le sperimentazioni finora condotte hanno portato ad esiti soddisfacenti, in grado di 
dimostrare che la precisione delle ortofoto generate sia quanto meno pari a quella che è possibile 
ottenere utilizzando procedure ormai consolidate. 
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Digital models of the 
vault with decorations 
attributed to Alessandro 
Araldi at the Camera 

di San Paolo in Parma. 
Summary of the wor- 
kflow proposed in this 
paper (from left to right: 
laser scanner point cloud, 
mesh model, orthophoto 
of the vault). 
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of frescoed architectures 
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Abstract 


Today, digitization plays a fundamental role in the preservation, conservation and valorization of 
cultural heritage. In the specific field of monumental architecture, this operation necessarily passes 
through accurate three-dimensional survey campaigns. Although it is now a common opinion that a 
survey based on the integration of image-based and range-based techniques is fundamental, it is nec- 
essary to note that this integration cannot be yet considered fully complete. In most cases, the data 
collected using the two techniques are processed separately and then merged into a single reference 
system using coordinates obtained from the laser scanner or topographic survey. 

This paper illustrates a workflow in which laser scanner and photogrammetric data are used simul- 
taneously from the beginning of the data processing phase. The aim is to obtain a unique 3D model 
in which the geometry is derived from TLS data and the radiometry from photogrammetric images. 
This approach is particularly successful especially in the case of architectures with a rich pictorial 
decorative apparatus. The first experiments of the proposed methodology regarded the survey cam- 
paign carried out on the Camera di San Paolo in Parma, well-known thanks to the so-called chamber 
of the Abbess, frescoed in 1519 by Correggio. 
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Integrated survey, laser scanning, photogrammetry, Camera di San Paolo, frescos restoration 
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Introduction 
Since the beginning of the 2|st century, thanks also to the constant development of infor 
mation technology, the digitization of cultural heritage has become increasingly important. 
Today, this operation is promoted by the numerous European programs and takes part of 
the political agendas of various nations [European Commission 2018; Community Research 
and Development Information Service, 2021]. The digitization process is not only consid- 
ered essential for the preservation, communication and valorization of cultural heritage, but 
its outputs are starting to become part of the cultural heritage itself. 
In the specific field of monumental architecture, digitization must necessarily pass through 
accurate three-dimensional survey campaigns. Starting from these, it is possible to create 
3D models which can be useful to support many activities: restoration, dissemination, man- 
agement, enhancement and so on. In the last few years there have been many debates 
aimed at demonstrating the greater reliability of one technique rather than another. Today, 
the common opinion is that an accurate survey operation must be based, in most cases, on 
the integration of different survey techniques. When dealing with historical buildings with 
rich plastic and pictorial decorative apparatus, it is Important to provide detailed informa- 
tion from both dimensional and chromatic point of view. In these cases, a survey based on 
the image and range-based techniques is essential. 

Despite the many technological developments have made photogrammetry and laser scan- 
ner technique almost independent from each other the most satisfying results can be ob- 
tained by their integrated use [Remondino 2011; Luhmann et al. 2020; Fiorillo et al. 2021]. 
However, it is necessary to note that this integration cannot be yet considered fully com- 
plete. In most cases, the data collected using the two techniques are processed separately 
and then merged into a single reference system using coordinates obtained from the laser 
scanner or topographic survey [Valente et al. 2019]. 
This paper illustrates a workflow in which laser scanner and photogrammetric data are 
used simultaneously from the beginning of the data processing phase. This is possible thanks 
to the latest developments of the Agisoft Metashape software that allows to import laser 
scanner data (converted to spherical images) and to process them directly with the frame 


images. The aim is to obtain a unique 3D model in which the geometry is derived from TLS 
data and the radiometry from photogrammetric images. 


The case study: the “Camera of San Paolo” in Parma 


The methodology illustrated in this paper was tested during a survey campaign conducted on 
the museum itinerary known as ‘“Camera di San Paolo” in Parma (Italy), where for the resto- 
ration project accurate documentation was required (fig. 01).This itinerary is located inside 
the ancient Benedictine female monastery of St. Paolo in Parma and includes nine rooms. 
Excluding the one that once served as the monastery refectory, all the other rooms were 
part of the private apartment of the abbess Giovanna from Piacenza. The few transfor 
mations carried out within this part of the complex concern the access area, which was 
modified during the 19th century by Maria Luigia. What makes the museum itinerary ex- 
traordinary is the presence of Italian Renaissance masterpiece, the so-called Chamber of the 
Abbess, frescoed in 1519 by Antonio Allegri, known as Correggio [Fadda 2018]. 

The room has an almost square plan and is covered by an umbrella vault decorated with 
an illusionistic pergola, made of bamboo canes, branches and festoons of flowers and fruits. 
Inside the pergola, there are painted |6 oval openings from which groups of putti overlook. 
Below the mentioned openings, on the vertical walls there are as many monochrome lu- 
nettes which simulate niches containing statues of mythological figures.A frieze with painted 
capitals, each composed of two ram's heads facing each other and holding various objects 
(clothes, dishes, etc.), encloses all the decoration (fig. 02). On the fireplace, there is also 
painted the goddess Diana on a chariot, a clear reference to the abbess Giovanna who 
commissioned the decoration. 
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Fig. 01.The ground floor 
of the museum itinerary 
(+1.70 m). Original 

scale of the drawing 1:50. 
Graphic elaboration by 
the authors. 


Fig. 02. Particular of the 
frescoes painted by Cor 
reggio (on the left) e and 
those attributed to Araldi 
(on the right). Author 
photographs. 
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Next to the Chamber of the Abbess there is another room of great artistic value, probably 
frescoed by Alessandro Araldi in 1514. Here, the pavilion vault with lunettes presents an 
extraordinary grotesque decoration. At the center of the vault, there is painted a balustrade 
open to the blue sky, from which musician putti appear Since 21 April 2021, the manage- 
ment of this museum itinerary has changed and passed to the Municipality, which engaged 
a specialized company to proceed with the restoration of the “Camera di San Paolo” and 
the “Cella di Santa Caterina”. 

To this aim, an accurate survey campaign of all vertical and vaulted surfaces was necessary 
(in a scale 1:50). Deep knowledge of the spaces and their state of conservation was essen- 
tial for the restoration project. In this regard, the restorers needed reliable drawings as a 
support. In particular plans and sections of the entire museum itinerary and orthophotos of 
all the vertical walls and vaults (in scale 1:50) were required. 
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Fig. 03. Point cloud of the 
entire museum itinerary, 
obtained from the laser 
scanner survey. Graphic 
elaboration by the 
authors. 


The integrated s 


urvey 


In order to provide the required documentation, it was decided to carry out an integrated 
survey campaign. All activities were performed in June 2021 and both laser scanner and 
photogrammetric techniques were ado 


ing interior spaces with complex geom 


accuracy in term 


s of radiometric data. 


Mpixel HDR camera was used for the 
cent to the museum itinerary, a total of 41 scans were made. For each room, two or three 


4 


pted.TLS technique results more suitable for survey- 
etry, but the photogrammetric one ensures greater 
A Leica RTC360 laser scanner equipped with a 36 
aser scanner survey. Starting from the cloister adja- 


station points were identified. Their number depended on the complexity and richness of 


the decorative apparatus and their posi 


tion was decided paying attention to the maximum 


reduction of occlusions. The chosen resolution was of 6 mm at 10 m distance. Taking into 
consideration the small size of the rooms, the adopted resolution was adequate to ensure 


accurate results. 
in passage areas. 
with a resolution 
returns as spheri 
registered in a un 


scanner survey, a 
DSLR.This came 


+ 


veyed. 


taken under artifi 
mounted on a tr 


+ 


of 4000x3000 pixels 


ique reference system 


ra is capable of taking 


vertica 
at the corners. 


n order to guarantee proper data registration, additional scans were placed 
Taking advantage of the camera integrated in the laser scanner, 36 images 


were acquired for each scan, which the instrument 


4 


cal images. At the end of the survey operations, the collected data were 


within the Leica Cycle software. In this way, a unique 


point cloud of the entire complex was obtained (fig. 03). At the same time, the equirectan- 
gular images acquired by the laser scanner were exported (fig. 04). In parallel to the laser 
photogrammetric survey was carried out using a full-frame Nikon 


D3X 
a resolution of 6048x4032 pixels and 


images with 


was equipped with 35 mm or 24 mm optic, depending on the size of the rooms to be sur 


+ 


n order to ensure uniformity from a radiometric point of view, all photographs were 
cial light conditions and a color calibration card was used. The camera was 
pod and the images were acquired 
wall three horizontal strips were acquired. Additional oblique images were taken 


using a wired remote control. For each 


+ 


For all the vaults, instead, two strips were made at different heights. Also in 


this case, additional oblique images were taken. By way of example, in each of the two most 
important rooms of the complex (the one attributed to Araldi and the one frescoed by 
Correggio) about |70 photos were taken. 
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Figs. 04, 05. Equirectan- 
gular images and related 
depth maps obtained 
from laser scans carried 
out in the room frescoed 
by Araldi. Graphic elabo- 
ration by the authors. 


The methodology and data processing 


The first operation carried out on the registered point cloud regarded its division in nine 
parts, each corresponding to a single room. The purpose of this division was to obtain 
smaller files to manage. Each part was then exported in .E57 format and imported into 
the Metashape software. The latest versions of the Agisoft software are able to perform a 
pre-processing in which each single scan is converted into an equirectangular image (format 
tif). Once imported, the point clouds were then transformed into RGB spherical panora- 
mas with corresponding depth maps and External Orientation (EO) parameters (position 
principal point location and camera rotation), known and derived directly from the laser 
scanner survey (fig. 05). 

The second operation regarded importing the frame images into the photogrammetric 
workspace. Since these images lack of EO parameters, a standard image matching process 
between frame images and the previously mentioned spherical panoramas was performed. 
In this phase, the EO parameters of the spherical panoramas have been kept fixed and 
used as a reference. The aim was to generate a single photogrammetric block in which the 
reference system and scale are determined directly from the External Orientation parame- 
ters derived from the laser scanner survey. The principal benefit of this methodology is that 
there is no need of any Ground Control Point (GCP). It also avoids the need to co-register 
data obtained from the TLS survey and those produced by photogrammetry, which as said 
before, is the most common workflow. 

At this point of the pipeline, in a traditional photogrammetric process based on the use of 
Metashape, would follow a process of dense matching between all the images of the block. 
This process would allow to obtain a point cloud to be used as a support for the mesh 
model elaboration. However, doing so would cancel the depth information derived from 
the laser scanner survey and the accuracy of the geometric data could be altered. In the 
workflow presented in this paper, it was decided to avoid the traditional approach of making 
a dense point cloud and to reconstruct the mesh model using directly the depth maps of 
the panoramas. In this way it was possible to generate a mesh in which the geometric data 
is derived entirely and exclusively from the data collected by laser scanner (fig. 06). 

Once the mesh model was completed, it was possible to proceed with the generation 
of the orthophotos. As already mentioned, frame images are oriented in coherence with 
equirectangular images. 
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Fig. 06. Details of the 
Chamber of the Abbess 
mesh model (on the 
left:the east wall; on the 
right: the vault). Graphic 
elaboration by the authors. 


Fig. 07. Comparison 
between the orthophotos 
obtained using the 
radiometric information 
provided by the laser 
scanner (left part of the 
images) and those by the 
photogrammetric survey 
(right part ofthe images). 
Graphic elaboration by 
the authors. 


Fig. 08. Particular of the 
ceiling plan. Original 

scale of the drawing 1:50. 
Graphic elaboration by 
the authors. 
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Fig. 09. Particular of the 
section A2-A2. Original 
scale of the drawings 
1:50. Graphic elaboration 
by the authors. 


Fig. 10.Validation of the 
accuracy of results as the 
number of frame images 
used decreases. The ima- 
ge summarizes the tested 
block geometries and the 
relative images overlap. 
Graphic elaboration by 
the authors. 
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Thanks to this, for the generation of orthophotos it was possible to use only and exclusively 
the frame images, which allow to provide a higher quality radiometric data than those ob- 
tained using the integrated camera of the laser scanner (fig. 07). A total of 42 high-resolution 
orthophotos were obtained: one for each vertical wall, one for each vault and one for the 
floor of the Chamber of the Abbess. The resolution obtained (1 mm/pix) is much higher than 
what is necessary for drawings with a scale of 1:50. However, in the context of a restoration 
project, all details are important. The orthophotos were then integrated into the traditional 
survey drawings. In this case, two plans at + 1.7/0 m above the floor of the Chamber of the 
Abbess (flor plan and ceiling plan) and fourteen vertical sections were obtained and used as 
a support for restoration activities (figs. 08, 09). 


Conclusions 


The proposed methodology presents some undoubted advantages. First of all, as already 
illustrated, it allows to obtain orthophotos characterized by a high level of precision of 
the geometric data (since they derive from the TLS survey) and, at the same time, by the 
accuracy of the radiometric data (obtained from the photogrammetric survey). In addition, 
it allows the correct orientation of the frame images without the need to GCR This is par 
ticularly useful in all those cases where, for various reasons, it is impossible to place targets 
in advance (for example, in the case of surfaces of high artistic value, parts that cannot be 
reached directly, etc.). It is also more advantageous in terms of time for data acquisition. 
Finally, another advantage offered by the method proposed here is that of being able to 
reduce the number of images that would normally be required by the software in order to 
orientation operations (fig. 10) and, above all, to obtain an accurate mesh model. 
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The latter, in fact, is directly derived from the TLS data. Despite its apparent simplicity, at the 
moment the methodology illustrated have not yet found numerous applications. The survey 
presented here was therefore also an opportunity to test and validate the proposed meth- 
odology [Bruno et al. 2022]. In fact, additional tests have been carried out on two rooms: the 
Chamber of the Abbess and the one whose frescoes are attributed to Araldi. 

These tests made it possible to verify the accuracy of the results in comparison with a tra- 
ditional co-registration approach based on the use of GCP and to test the robustness of 
the method even under different conditions, for example by reducing the number of frame 
images used. All tests carried out so far demonstrated that the accuracy of the orthopho- 
tos generated with the proposed methodology is at least equal to the one obtained using 
established procedures. 
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